Pular para o conteúdo principal

Como funciona o formato .parquet

O formato de arquivo .parquet é um formato de armazenamento colunar otimizado para grandes volumes de dados, projetado para fornecer leitura eficiente e compressão eficaz.

1. Estrutura Colunar​

  • Armazenamento Colunar: Ao contrário dos formatos de arquivo tradicionais que armazenam dados em linhas, o Parquet armazena dados em colunas. Isso permite uma melhor compressão e leitura eficiente, especialmente para consultas que acessam apenas algumas colunas de uma tabela.

2. Compressão e Codificação​

  • Compressão: O Parquet suporta várias técnicas de compressão, como Snappy, GZIP e LZO. A compressão colunar é mais eficiente porque dados semelhantes são agrupados, resultando em uma melhor taxa de compressão.

  • Codificação: Além da compressão, o Parquet utiliza técnicas de codificação (como codificação de comprimento de execução) para reduzir o espaço de armazenamento.

3. Metadados​

  • Metadados: Cada arquivo Parquet inclui metadados que contêm informações sobre o esquema dos dados, a distribuição dos dados entre as colunas e estatísticas sobre os valores armazenados. Isso permite que os mecanismos de consulta realizem otimizações sem precisar ler o arquivo inteiro.

4. Esquema Rígido​

  • Definição de Esquema: O esquema dos dados é rigidamente definido e armazenado junto com os dados. Isso garante que qualquer leitor Parquet possa entender e processar os dados corretamente.

5. Suporte para Tipos de Dados Complexos​

  • Tipos de Dados: O Parquet suporta uma ampla variedade de tipos de dados, incluindo tipos primitivos (como inteiros e strings) e tipos complexos (como listas e estruturas aninhadas).

6. Otimização para Consultas Analíticas​

  • Desempenho: Devido ao seu armazenamento colunar e estrutura de metadados, o Parquet é altamente otimizado para consultas analíticas que varrem grandes volumes de dados, mas frequentemente acessam apenas um subconjunto de colunas.

Benefícios​

  • Eficiência de Armazenamento: Reduz o espaço de armazenamento necessário graças à compressão eficaz.
  • Velocidade de Leitura: As consultas são mais rápidas, pois apenas as colunas necessárias são lidas.
  • Escalabilidade: Ideal para grandes conjuntos de dados devido à sua estrutura otimizada.